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D-70546 Stuttgart 



Beschreibung 

Vorrichtung und Verfahren zur Verkehrszeichenerkennung. 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Verkehrszeichenerkennung 
gemaB der Oberbegriffe der Patentanspruche 1 und 10. Eine solche Vorrichtung und ein 
solches Verfahren sind bereits aus [1] bekannt. 

Der Verkehr auf StraBen, Schienenwegen, WasserstraBen und Rollfeldern wird durch 
Verkehrszeichen geregelt. Die durch ein Verkehrszeichen referenzierte Verkehrsregel 
hat haufig einen raumlichen Gultigkeitsbereich, der sich uber Abschnitte des Fahrweges 
erstreckt, von denen aus der Fahrzeugfuhrer das Verkehrszeichen nicht einsehen kann. 
Solche Abschnitte werden zum Beispiel durch ein Verkehrszeichen, das den Beginn der 
Regelanwendung kennzeichnet, und durch ein weiteres Verkehrszeichen, das die Aufhe- 
bung der Regelanwendung kennzeichnet, markiert. Fur den Fahrzeugfuhrer ist demnach 
eine Erinnerungshilfe sehr vorteilhaft, die ihm auch Informationen uber den Aussage- 
gehalt von Verkehrszeichen liefert (zu welcher Regelbefolgung wird aufgefordert), an 
denen er bereits vor langerer Zeit vorbeigefahren ist. 
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Im bisherigem Stand der Technik werden Vorrichtungen und Verfahren vorgeschlagen, 
die das Ziel verfolgen, den Aussagegehalt eines Verkehrszeichens vollstandig zu extra- 
hieren. Beispielsweise wurde eine Vorrichtung als Erinnerungshilfe fur den Fahrzeug- 
fuhrer vorgeschlagen [1], die Geschwindigkeitsbeschrankungen durch Verkehrszeichen 
erfafit und fur die Dauer ihrer Gultigkeit im Fahrzeuginnenraum anzeigt. Diese Vorrich- 
tung beinhaltet einen Bildsensor, eine Informationsverarbeitungseinheit, eine Speicher- 
einheit und eine Anzeigeeinheit. Mittels des Bildsensors werden Bilder von der dem 
Fahrzeug vorausliegenden Fahrbahn aufgenommen. Mittels der Informationsverarbei- 
tungseinheit werden in diesen Bildern in Echtzeit Verkehrszeichen gesucht und bei 
Erkennung eines Verkehrszeichens wird dessen Aussagegehalt, hier die Geschwindig- 
keitsbeschrankung, extrahiert. Der extrahierte Wert der zulassigen Hochstgeschwindig- 
keit wird in der Speichereinheit gespeichert und fur die Dauer der Gultigkeit, d.h. bis zur 
Erkennung eines aufhebenden Verkehrszeichens, mittels der Anzeigeeinheit angezeigt. 

Der Nachteil dieser Vorrichtung besteht in der hohen Riickweisungsquote nicht 
erkannter Verkehrszeichen und in ihren hohen Kosten. Die tatsachliche Erkennung 
eines bestimmten Verkehrszeichens, d.h. die Extraktion seines vollstandigen Aussage- 
gehaltes, mit ausreichend hoher Wahrscheinlichkeit erfordert (moglichst farbige [2]) 
Bilder mit einer moglichst hohen Auflosung. Die Auswertung solcher Bilder in Echtzeit 
erfordert eine sehr hohe Rechenleistung. Derart leistungsstarke Bildsensoren und 
Informationsverarbeitungseinheiten sind teuer. Und selbst mit ihnen liegt die Ruck- 
weisungsquote gangiger Verkehrszeichenerkennungssysteme in der GroBenordnung 
von einigen Prozenten. Solche Ruckweisungsquoten konnen aus Gewahrleistungs- 
grunden nicht toleriert werden. 

Die Aufgabe der vorliegenden Erfindung besteht daher einerseits darin, eine einfachere 
und damit kostengiinstigere Vorrichtung zur Verkehrszeichenerkennung als Erinner- 
ungshilfe fur den Fahrzeugfuhrer anzugeben, die eine deutlich geringere Riickweisungs- 
quote aufweist, sowie andererseits darin, ein Verfahren zum Betrieb einer solchen 
Vorrichtung, anzugeben. 
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Die Erfindung ist in Bezug auf die zu schaffende Vorrichtung durch die Merkmale des 
Patentanspruchs 1 wiedergegeben. In weiteren Anspruchen (Patentanspruche 2 bis 9) 
sind vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemaBen Vorrich- 
tung enthalten. 



Die Erfindung ist in Bezug auf das zu schaffende Verfahren durch die Merkmale des 
Patentanspruchs 10 wiedergegeben. In weiteren Anspruchen (Patentanspruche 10 bis 
16) sind vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemaBen 
Verfahrens enthalten. 



In weiteren Anspruchen sind vorteilhafte Verwendungen der erfindungsgemaBen Vor- 
richtung (Patentanspruche 17 und 19) und des erfindungsgemaBen Verfahrens (Patent- 
anspruche 18 und 20) angegeben. 

15 Die Aufgabe wird beziiglich der zu schaffenden Vorrichtung erfindungsgemaB dadurch 
gelost, daB die Vorrichtung zur Verkehrszeichenerkennung enthalt, 

a) einen digitalen Bildsensor 



5 



10 



zur Aufnahme von Bildern, die potentiell Verkehrszeichen enthalten, 



20 



eine Informationsverarbeitungseinheit 

zur Analyse der von dem Bildsensor gelieferten Bilder in Echtzeit, 



c) 



eine Speichereinheit, 



25 



eine Anzeigeeinheit, 



bei der 



30 e) 



die Informationsverarbeitungseinheit ermittelt, 

ob ein Bild ein oder mehrere Objekte enthalt, 

welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 



wobei 
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f) die Speichereinheit einen vorgegebenen Klassifikator enthalt, 

der schwankungstoierant generiert wird - 
aus einer reprasentativen Stichprobe von 
klassenspezifischen Merkmalsdaten, 
5 . di e jeweils alien Elementen einer bestimmten Klasse von 

Verkehrszeichen gemeinsam sind, 
- die zur eindeutigen Identifizierung dieser Klasse ausreichen, 

g) die Speichereinheit vereinfachte Reprasentationen dieser 
10 klassenspezifischen Merkmalsdaten enthalt, 



15 



h) die Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert, 

i) die Informationsverarbeitungseinheit 
die extrahierten realen Merkmalsdaten 
mittels des Klassifikators klassifiziert, 



20 j) die Informationsverarbeitungseinheit 

anhand dieser Klassifikation eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 
zu einer Klasse von Verkehrszeichen durchfuhrt, 



25 k) die Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
j n e j n er fur die zugeordnete Klasse spezifischen Aufteilung separiert 
in einen Oder mehrere Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, und 
30 - in einen Oder mehrere Bildbereiche, 

die zeichenspezifische Merkmalsdaten enthalten, 
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die Informationsverarbeitungseinheit die Bilddaten 

von dem als Verkehrszeichen erkannten Objekt 

auf eine vereinfachte Darstellung reduziert, indem sie 



10 
15 



20 

25 



die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 

und die geloschten Bildbereiche ersetzt 

durch die vereinfachte Representation 

der klassenspezifischen Merkmalsdaten 

der dem Verkehrszeichen zugeordneten Klasse, 

m) die Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes speichert, 

n) die Anzeigeeinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes anzeigt. 

Ein wesentlicher Vorteil einer solchen Vorrichtung zur Verkehrszeichenerkennung 
besteht darin, daB mit ihr nicht mehr das komplizierte Problem der Erkennung eines 
speziellen Verkehrszeichens rechenleistungsintensiv gelost werden mu(3, sondern nur 
noch das einfachere Problem der Erkennung einer von wenigen Klassen von Verkehrs- 
zeichen. Dies zu losen ist wesentlich kostengiinstiger moglich, da geringere Anfor- 
derungen an die Bildqualitat und an die Rechenkapazitat gestellt werden mussen. 

Hervorzuheben ist auch, da(3 die Speichereinheit vorgegebene, klassenspezifische 
Merkmalsdaten enthalt, die schwankungstolerant sind, da die Qualitat der von dem 
Bildsensor gelieferten Bilder stark von Umweltfaktoren wie Wetter und Licht- 
verhaltnissen abhangig ist. Geeignete Schwankungstoleranzen sind fur die Erkennung 
einer Klasse von Verkehrszeichen aber wesentlich sicherer und besserzu definieren als 
fur die Erkennung eines einzelnen speziellen Verkehrszeichens. 
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Beispiele fur derartige Klassen von Verkehrszeichen sind beispielsweise im StraBen- 
verkehr die Verbotszeichen Oder spezieller die Geschwindigkeitsbegrenzungszeichen. - 
Die klassenspezifischen Merkmalsdaten der Klasse der Verbotszeichen sind die runde 
Form des Verkehrszeichens und ein innenliegendes Symbol bzw. bei einem Geschwin- 
digkeitsbegrenzungszeichen eine innenliegende Zahl, welche von einem breiten (roten) 
Kreis umschlossen ist. Eine andere wichtige Kiasse bilden beispielsweise die Warn- 
zeichen. Die klassenspezifischen Merkmalsdaten der Klasse der Warnzeichen sind die 
dreieckige Form des Verkehrszeichens und ein innenliegendes Gefahrensymbol, 
welches von einem breiten (roten) Dreieck umschlossen ist. 

Mittels der erfindungsgemaBen Vorrichtung wird nun mit vergleichsweise geringer 
Rechenleistung und geringem apparativen Aufwand (beispielsweise einer Monochrom- 
kamera anstatt einer hochauflosenden Farbkamera) in Echtzeit.erkannt, ob es sich bei 
einem Objekt bestimmter Form innerhalb des aufgenommenen Bildes urn ein Verkehrs- 
zeichen einer bestimmten Klasse handelt oder nicht. Wurde eine Klasse erkannt, so 
reduziert die Informationsverarbeitungseinheit die Bilddaten von dem als Verkehrs- 
zeichen erkahnten Objekt auf eine vereinfachte Darstellung, indem sie die Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, loscht und mit der vereinfachten 
Representation der dem Verkehrszeichen zugeordneten Klasse ersetzt. Die zeichen- 
spezifischen Merkmalsdaten, beispielsweise das digitalisierte Abbild des Zahlenwertes 
einer angegebenen Hochstgeschwindigkeit, wird beibehalten. Mittels der Anzeigeeinheit 
wird dem Fahrzeugfuhrer die vereinfachte Darstellung des als Verkehrszeichen, hier 
Verbotszeichen, erkannten Objektes angezeigt. Die zeichenspezifische Identifizierung 
des Verbotszeichens bleibt dann dem Fahrzeugfuhrer uberlassen, der den tatsachlichen 
Aussagegehalt des Verbotszeichens meist wesentlich schneller und sicherer extra- 
hieren kann als jede Vorrichtung. 

Damit steht eine einfache und kostengiinstige Vorrichtung zur Verkehrszeichen- 
erkennung mit geringer Ruckweisungsquote als Erinnerungshilfe fur den Fahrzeugfuhrer 
zur Verfugung. 
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In einer vorteilhaften Ausfuhrungsform enthalt die Vorrichtung zur Verkehrszeichen- 
erkennung, 

a) einen digitalen Bildsensor 

5 zur Aufnahme von Bildern, die potentiell Verkehrszeichen enthalten, 

b) eine Informationsverarbeitungseinheit 

zur Analyse der von dem Bildsensor gelieferten Bilder in Echtzeit, 



10 c) eine Speichereinheit, 
d) eine Anzeigeeinheit, 
bei der 



15 



e) die Informationsverarbeitungseinheit ermittelt, 
ob ein Bild ein oder mehrere Objekte enthalt, 

welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 



20 wobei 



f ) die Speichereinheit einen Klassifikator enthalt, 

der vorgegebene, klassenspezifische Merkmalsdaten 
mit zu extrahierenden realen Merkmalsdaten vergleicht, 
25 unter Beriicksichtung eines oder mehrerer Toleranzwerte, 

g') die Speichereinheit vereinfachte Reprasentationen dieser 
klassenspezifischen Merkmalsdaten enthalt, 

30 h') die Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert, 



die Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten 

mit den in der Speichereinheit vorgegebenen, 

klassenspezifischen Merkmalsdaten vergleicht, 

die Informationsverarbeitungseinheit 
anhand dieses Vergleichs eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 
zu einer Klasse von Verkehrszeichen durchfuhrt, 

die Informationsverarbeitungseinheit die Bilddaten 

von dem als Verkehrszeichen erkannten Objekt 

in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert 

in einen oder mehrere Bildbereiche, 

die klassenspezifische Merkmalsdaten enthalten, und 

in einen oder mehrere Bildbereiche, 

die zeichenspezifische Merkmalsdaten enthalten, 

die Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darstellung reduziert, indem sie 
die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 

und die geloschten Bildbereiche ersetzt 

durch die vereinfachte Representation 

der klassenspezifischen Merkmalsdaten 

der dem Verkehrszeichen zugeordneten Klasse, 

die Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes speichert, 

die Anzeigeeinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes anzeigt. 
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Ein derartiger vergleichender Klassifikator stellt die einfachste Ausfuhrungsform eines 
geeigneten Klassifikators dar. 

In einer vorteilhaften Ausfuhrungsform dieser Vorrichtung ist in der Speichereinheit ein 
Programm gespeichert zur Anwendung einer Entscheidungslogik mittels derer die Infor- 
mationsverarbeitungseinheit die Anzeigeeinheit derart steuert, daB sie die vereinfachte 
Darstellung eines als Verkehrszeichen erkannten Objektes solange anzeigt, bis ein 
neues Objekt als Verkehrszeichen erkannt wird, vorzugsweise als Verkehrszeichen der 
gleichen Oder einer korrespondierenden Klasse erkannt wird, und dessen vereinfachte 
Darstellung die vorherige ersetzt. 

Der Vorteil dieser Ausgestaltung liegt darin, daB die Bildflache der Anzeigeeinheit 
dadurch sehr klein gestaltet werden kann, namlich der Flache der Darstellung eines 
einzelnen Verkehrszeichen entsprechend. Dies ist aus Grunden der Ubersichtlichkeit 
und der generellen Begrenzung des in einem Fahrzeug-Cockpit zur Verfugung steh- 
enden Raums vorteilhaft. 

Besonders vorteilhaft ist die vorzugsweise Ausgestaltung der Entscheidungslogik 
hinsichtlich eines Verkehrszeichens der gleichen oder einer korrespondierenden Klasse 
(Beispiel: die mit der Klasse der Geschwindigkeitsbeschrankungen korrespondierende 
Klasse ist die Klasse der Aufhebungen der Geschwindigkeitsbeschrankungen). Hier- 
durch wird zwar mehr Platz auf der Anzeigeeinheit benotigt, aber dem Fahrer konnen so 
auch mehrere gleichzeitig gultige Verkehrszeichen angezeigt werden. Dabei wird jedoch 
ausgeschlossen, daB sich die Verkehrszeichen gegenseitig aufheben und so unnotig 
Platz auf der Anzeigeeinheit beanspruchen. 

In einer weiteren vorteilhaften Ausbildung dieser Vorrichtung besitzt die Anzeigeeinheit 
zusatzlich eine Einstelleinheit, mittels welcher die maximale Anzeigedauer der verein- 
fachten Darstellung eines als Verkehrszeichen erkannten Objektes eingestellt wird. 
Dadurch kann der Fahrzeugfuhrer die Anzeigedauer seinen personlichen Bediirfnissen 
und Vorlieben gemaB anpassen. AuBerdem wird die Teilung seiner Aufmerksamkeit 
zwischen dieser Anzeigeeinheit und anderen wichtigen Anzeigen im Fahrzeug-Cockpit 
sowie dem auBeren Verkehrsgeschehen auf die Anzeigedauer begrenzt. 
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In einer weiteren vorteilhaften Ausbildung dieser Vorrichtung ist 
in der Speichereinheit ein ProgramrrTgespeichert, 

zur Ermittlung der zuruckgelegten Wegstrecke 
zwischen der aktuellen Fahrzeugposition 
und der Position des zuletzt erkannten Verkehrszeichens 
einer bestimmten Verkehrszeichenklasse, 
mittels denn die Informationsverarbeitungseinheit 
die zuruckgelegten Wegstrecke ermittelt, 

aus den Daten des Tachometers des Fahrzeuges, 

welche vorzugsweise uber einen Fahrzeugdatenbus 
von dem Tachometer zu der Informationsverarbeitungseinheit 
ubermittelt werden, 
und den Daten eines Zeitgebers, 

vorzugsweise eines internen Zeitgebers 
der Informationsverarbeitungseinheit, 
sowie in der Speichereinheit ein Programm gespeichert ist 
zur Anwendung einer Entscheidungslogik 
mittels derer die Informationsverarbeitungseinheit 
die Anzeigeeinheit derart steuert, daB sie 

die vereinfachte Darstellung eines als Verkehrszeichen erkannten Objektes 
solange anzeigt, 

bis eine in der Speichereinheit vorgegebene Wegstrecke zuruckgelegt ist, 



In der Bundesrepublik Deutschland muB beispielsweise ein Geschwindigkeitsbegren- 
zungszeichen nach spatestens 3 km zuruckgelegter Wegstrecke erneuert werden [3], 
ansonsten gilt die angezeigte Geschwindigkeitsbegrenzung als aufgehoben. Der Vorteil 
dieser Ausgestaltung besteht demnach darin, daB ein Verkehrszeichen nur noch so lange 
angezeigt wird wie notwendig, eben bis es aufgrund der zuruckgelegten Wegstrecke 
oder durch ein anderes Verkehrszeichen aufgehoben wird. 



welche vorzugsweise klassenspezifisch ist, oder 
bis ein neues Objekt als Verkehrszeichen erkannt wird, 

vorzugsweise als Verkehrszeichen der gleichen oder 
einer korrespondierenden Klasse erkannt wird, 
und dessen vereinfachte Darstellung die vorherige ersetzt. 
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Ein weiteres vorteilhaftes Ausgestaltungsmerkmal der genannten Vorrichtung besteht 
darin, daB die Anzeigeeinheit zusatzlich einen akustischen Signalgeber enthalt, welcher, 
sobald ein Objekt als Verkehrszeichen erkannt wurde, ein vorzugsweise klassenspezifi- 
5 sches, akustisches Signal ausgibt. Der Vorteil dieser Ausgestaltung besteht in . der 
erhohten Wahrnehmungssicherheit des Verkehrszeichens durch den Fahrzeugfuhrer. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal der genannten Vorrichtung besteht 
darin, daB der digitale Bildsensor eine oder mehrere, vorzugsweise monochrome, 
10 Digitalkameras enthalt, die derart angeordnet sind, daB ihr gemeinsames Blickfeld 
ausreicht, um alle fur den Fahrweg eines Fahrzeuges relevanten Verkehrszeichen 
unabhangig von der horizontalen und/oder vertikalen Kriimmung des Fahrweges zu 
erfassen. Eine derartige Anordnung der Kameras gewahrleistet die sichere Aufnahme 
aller Verkehrszeichen entlang der Fahrtstrecke. Monochrome Kameras sind fur die 
15 Funktionstuchtigkeit der Vorrichtung ausreichend, bei gleicher Auflosung aber deutlich 
kostengunstiger als eine Farbkamera oder besitzen bei gleichem Preis eine deutlich 
hohere Auflosung. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal der genannten Vorrichtung besteht 
20 darin, daB sie zusatzlich eine Positionsbestimmungseinheit enthalt, und die Speicher- 
einheit zusatzlich zu der vereinfachten Darstellung eines als Verkehrszeichen erkannten 
Objektes jeweils auch dessen Position speichert. Eine geeignete Einheit zur Positions- 
bestimmung ist beispielsweise das sogenannte Global Positioning System GPS oder 
auch ein System, daB seine Position innerhalb einer digitalen StraBenkarte anhand der 
25 Bewegung des Fahrzeugs bestimmt. Eine weitere Moglichkeit besteht in der Verwen- 
dung von Transpondern, die an den Verkehrszeichen angebracht werden und deren 
Position an die erfindungsgemaBe Vorrichtung ubermitteln. Mit einem derartigen Aus- 
gestaltungsmerkmal eignet sich die Vorrichtung besonders als System zur Inspektion 
von Verkehrswegenetzen. Ermitteit und uberpriift werden konnen beispielsweise das 
30 Vorhandensein, die GroBe, der Zustand, die Sichtbarkeit vom Fahrweg, die Reflexions- 
eigenschaften, die Verschmutzung und andere fur die Signalwirkung des Verkehrs- 
zeichens wichtigen Eigenschaften. 
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Die Aufgabe wird bezuglich des zu schaffenden Verfahrens zur Verkehrszeichen- 
erkennung erfindungsgemaB dadurch gelost, daB 

a) mittels eines digitalen Bildsensors Bilder aufgenommen werden, 
die potentiell Verkehrszeichen enthalten, 

b) mittels einer Informationsverarbeitungseinheit die von dem Bildsensor 
gelieferten Bilder in Echtzeit derart analysiert werden, daB 

c) die Informationsverarbeitungseinheit ermittelt, 
ob ein Bild ein Oder mehrere Objekte enthalt, 

welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 

wobei 

d) mittels der Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 

reale Merkmalsdaten extrahiert werden, 

e) mittels der Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten klassifiziert werden 
durch einen in einer Speichereinheit vorgegebenen Klassifikator 

der schwankungstolerant generiert wird 

aus einer reprasentativen Stichprobe von 

klassenspezifischen Merkmalsdaten, 

- die jeweils alien Elementen einer bestimmten Klasse von 
Verkehrszeichen gemeinsam sind, 

- die zur eindeutigen Identifizierung dieser Klasse ausreichen, 

f) mittels der Informationsverarbeitungseinheit 
anhand dieser Klassifikation eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 

zu einer Klasse von Verkehrszeichen durchgefuhrt wird, 
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g) mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 

in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert werden 
in einen oder mehrere Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, und 
in einen oder mehrere Bildbereiche, 
die zeichenspezifische Merkmalsdaten enthalten, 

h) mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 

auf eine vereinfachte Darstellung reduziert werden, indem sie 
die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 
und die geloschten Bildbereiche ersetzt 
durch eine vereinfachte Representation 
der klassenspezifischen Merkmalsdaten 
der dem Verkehrszeichen zugeordneten Klasse, 
wobei die vereinfachten Reprasentationen 
der verschiedenen moglichen Klassen 
in der Speichereinheit vorgegeben sind, 

i) in der Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes gespeichert wird, 

j) auf einer Anzeigeeinheit die vereinfachte Darstellung 

.des als Verkehrszeichen erkannten Objektes angezeigt wird. 

Ein wesentlicher Vorteil eines solchen Verfahrens zur Verkehrszeichenerkennung 
besteht, genau wie bei der bereits weiter vorne beschrieben Vorrichtung, darin, daB 
nicht mehr das komplizierte Problem der Erkennung eines speziellen Verkehrszeichens 
rechenleistungsintensiv gelost werden muB, sondern nur noch das einfachere Problem 
der Erkennung einer von wenigen Klassen von Verkehrszeichen. Dies zu losen ist 
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wesentlich kostengunstiger moglich, da geringere Anforderungen an die Bildqualitat 
und an die Rechenkapazitat gestellt werden miissen. AuBerdem existieren mehrere 
geeignete Verfahren, die mit hinreichender Sicherheit und Schnelligkeit eine solche 
Klassenerkennung durchfiihren konnen, beispielsweise mittels der weit verbreiteten 
Korrelationsverfahren. 

Die vereinfachte Darstellung des Verkehrszeichens, bestehend aus der Kombination 
einer vereinfachten Representation der Merkmalsdaten der erkannten Verkehrszeichen- 
klasse und den Bildbereichen des realen digitalen Bildes, welche die zeichenspezifi- 
schen Merkmalsdaten des einzelnen Verkehrszeichens enthalten, kann in den meisten 
Fallen sehr leicht von dem Fahrzeugfuhrer als ein spezielles Verkehrszeichen erkannt 
werden. In den wenigen Fallen, in denen ihm dies nicht gelingt, erhalt er zumindest den 
Hinweis, daB ein Verbot besteht Oder eine Warnung angezeigt wurde und auch dadurch 
wird seine Aufmerksamkeit und damit die Verkehrssicherheit erhoht. 



Eine vorteilhafte Ausfuhrungsform des Verfahrens zur Verkehrszeichenerkennung ist 
dadurch gekennzeichnet, daB 

d') mittels der Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert werden, 

e') mittels der Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten klassifiziert werden, 
indem sie die extrahierten realen Merkmalsdaten vergleicht 
mit in einer Speichereinheit vorgegebenen, klassenspezifischen Merkmalsdaten 

die jeweils alien Elementen einer bestimmten Klasse von 

Verkehrszeichen gemeinsam sind, 

die zur eindeutigen Identifizierung dieser Klasse ausreichen, 
unter Berucksichtigung eines oder mehrerer Toleranzwerte, 



mittels der Informationsverarbeitungseinheit 

anhand dieses Vergleichs eine Zuordnung 

des als Verkehrszeichen erkannten Objektes 

zu einer Klasse von Verkehrszeichen durchgefuhrt wird, 

mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 

in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert werden 
in einen oder mehrere Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, und 
in einen oder mehrere Bildbereiche, 
die zeichenspezifische Merkmalsdaten enthalten, 

mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darstellung reduziert werden, 
indem sie 

die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 
und die geloschten Bildbereiche ersetzt 
durch eine vereinfachte Representation 
der klassenspezifischen Merkmalsdaten 
der dem Verkehrszeichen zugeordneten Klasse, 
wobei die vereinfachten Reprasentationen 
der verschiedenen moglichen Klassen 
in der Speichereinheit vorgegeben sind, 

in der Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes gespeichert wird, 

auf einer Anzeigeeinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes angezeigt wird. 
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Eine derartige vergleichende Klassifikation stellt die einfachste Ausfuhrungsform eines 
geeigneten Verfahrensschrittes zur Klassifikation der Verkehrszeichen innerhalb des 
Gesamtverfahrens zur Verkehrszeichenerkennung dar. 

5 Ein vorteilhaftes Ausgestaltungsmerkmal des genannten Verfahrens besteht darin, daB 



20 Ein Vorteil einer derartigen Ausgestaltung besteht darin, daB so die Bildanalyse auf die 
wesentlichen und informationshaltigen Bildbereiche beschrankt wird und somit die 
Analyse beschleunigt wird. Sind die Bilder farbig, so kann der erste Verfahrensschritt 
auf die Suche nach einer oder wenigen Schlusselfarben, beispielsweise Rot bei 
Gefahrenzeichen, beschrankt werden. Aber selbst wenn keine Farbinformation verfug- 
25 bar ist, kann die Suche auf bestimmte Bildbereiche (raumliche Positionen) einge- 
schrankt werden. Beispielsweise konnen durch einfache und schnelle Segmentations- 
Technik nahezu uniforme Bildbereiche (Himmel, StraBe) identifiziert und von der 
weiteren Analyse ausgeschlossen werden. 



10 



der Verfahrensabschnitt, 

in dem die Informationsverarbeitungseinheit ermittelt, 

ob ein Bild ein oder mehrere Objekte enthalt, 

welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 

derart gestaltet ist, daB 

in einem ersten Verfahrensschritt Bildbereiche ermittelt werden, 
vorzugsweise anhand von Farbwerten und/oder raumlichen Positionen, 
welche mit uberdurchschnittlicher Wahrscheinlichkeit Verkehrszeichen 



15 



enthalten, 

in einem zweiten Verfahrensschritt in diesen Bildbereichen mittels 
geometrischer Analyse, vorzugsweise mittels Korrelationsverfahren, 
Objekte ermittelt werden, 

welche eine vorgegebene, vorzugsweise runde oder dreieckige, Form besitzen. 



Den gleichen Vorteil der Beschleunigung der Analyse bietet der zweite Verfahrens- 
schritt dieser Ausgestaltung. Auch hier wird der Suchbereich stark eingeschrankt, 
diesmal auf die Suche nach wenigen, ganz bestimmten, vorgegebenen Formen von 
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Objekten, im Extremfall eingeschrankt auf die Klasse der Verbotszeichen und damit 
allein auf die Suche von runden Objekten. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal des genannten Verfahrens besteht 
5 darin, da(5 

aus einer Abfolge von Bildern, 

die wahrend der Vorbeibewegung des Fahrzeugs 
an einem als Verkehrszeichen erkannten Objekt 
aufgenommen werden, 
10 jeweils das beste Bild ausgewahlt wird, 

wobei die Auswahl anhand definierter Qualitatskriterien durchgefiihrt wird, 
vorzugsweise anhand von 
Gr63e und/oder 
Kontrast und/oder 
15 - Helligkeit 

des als Verkehrszeichen erkannten Objektes, 
und nur die aus diesem bestem Bild generierte vereinfachte Darstellung 
des ais Verkehrszeichen erkannten Objektes 
in der Speichereinheit gespeichert wird 
20 - und auf der Anzeigeeinheit angezeigt wird. 



Ein Vorteit einer derartigen Ausgestaltung besteht darin, da(5 so einerseits Speicherplatz 
gespart wird und andererseits dem Fahrzeugfuhrer anstatt dem schnellen Anzeige- 
wechsel des gleichen Verkehrszeichens in unterschiedlicher Qualitat ein gleichbleibend 
"25 gutes Bild des Verkehrszeichens angezeigt wird. Dadurch wird seine Aufmerksamkeit 
nicht durch den Anzeigewechsel abgelenkt, sondern steht ungeteilt dem Verkehr und 
dem tatsachlichen Aussagegehalt des Verkehrszeichens zur Verfugung. 



30 
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Ein weiteres vorteilhaftes Ausgestaltungsmerkmal des genannten Verfahrens besteht 
darin, daB 

die Bildbereiche, die zeichenspezifische Merkmalsdaten enthalten, 
eines als Verkehrszeichen erkannten Objektes, 
5 bevor sie auf der Anzeigeeinheit angezeigt werden, 

fur einen Fahrzeugfuhrer aufbereitet werden, 
hinsichtlich einer besseren Erkennbarkeit, 
derart, daB sie 

groBennormiert werden und/oder 
10 - kontrastnormiert werden und/oder 

helligkeitsnormiert werden und/oder 
Farbtonnormiert werden. 

Ein Vorteil einer derartigen Ausgestaltung besteht darin, daB so dern Fahrzeugfuhrer die 
15 Erkennung eines speziellen Verkehrszeichens erleichtert wird. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal des genannten Verfahrens besteht 
darin, daB 

20 - zusatzlich die Position eines als Verkehrszeichen erkannten Objektes 
mittels einer Positionsbestimmungseinheit bestimmt wird, und 
in der Speichereinheit zusatzlich zu der vereinfachten Darstellung 
des als Verkehrszeichen erkannten Objektes 
jeweils auch dessen Position gespeichert wird. 

Mit diesem Ausgestaltungsmerkmal eignet sich das Verfahren besonders fur die 
Inspektion von Verkehrswegenetzen. Mittels dieser Ausgestaltung des Verfahrens 
konnen in einem kompletten Verkehrswegenetz beispielsweise das Vorhandensein, die 
GroBe, der Zustand, die Sichtbarkeit vom Fahrweg, die Reflexionseigenschaften, die 
30 Verschmutzung und andere fur die Signalwirkung eines Verkehrszeichens wichtigen 
Eigenschaften ermittelt und uberpruft werden. 
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lm Folgenden werden anhand einer beispielhaften Ausfiihrung die erfindungsgemaBe 
Vorrichtung sowie das erfindungsgemaBe Verfahren naher erlautert. 



5 Gegeben sei der mittels eines Bildsensors erfaBbare Teil U' der Umgebung U eines 
Fahrzeuges am Ort x zum Zeitpunkt t. Dieser Teil U' der Umgebung U enthalte Objekte 
o, aus der Menge O alter Objekte, die mit einer gewissen Wahrscheinlichkeit Verkehrs- 
zeichen sind. 

10 Gegeben sei die Menge V aller Verkehrszeichen. V enthalte n Untermengen Kj, j=1,...,n, 
die jeweils eine Klasse von Verkehrszeichen bilden. Die Menge Kj der j-ten Klasse von 
Verkehrszeichen enthalt mj Elemente vij (Verkehrszeichen). 



15 



V := { vij ; j = 1, n; i = 1, mj } Kj := { vij ; i = 1 mj } 

vij e Kj cz V cz O 



Die (hinsichtlich der Verkehrszeichenerkennung) optimale Wiedergabe eines Verkehrs- 
zeichens vij in Form einer optimalen Abbildung bo aus der Menge B aller Bilder werde 
20 dargestellt durch die Funktion bo 



bo: U -> B bo := Mvij) 



Eine reale Abbildung b des Verkehrszeichens vij ist jedoch aufgrund von Umweltein- 
25 flussen meist einem (orts- und zeitabhangigen) Rauschen unterworfen. 

b := r{bo) 

Jede (optimale oder reale) Abbildung b eines Verkehrszeichens vij kann aufgeteilt 
30 werden in einen oder mehrere Bildbereiche bK, die klassenspezifische Merkmalsdaten 
mK enthalten, und in einen oder mehrere Bildbereiche bv, die zeichenspezifische 
Merkmalsdaten mv enthalten. (Die korrekte Aufteilung wird einmalig fur eine optimale 
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Abbildung bo ermittelt und danach fur reale Abbiidungen ubemommen, da sie durch 
das Rauschen r nicht beeinfluBt wird.) - 

bo = boK © bov b = bK © bv 

5 

Die Funktion 3Kv beschreibe die Aufteilung der Abbildung b eines Verkehrszeichens vij 
in die Bildbereiche bK und bv. Die Funktion mK beschreibe die Extraktion der klassen- 
spezifischen Merkmalsdaten mK aus den Bildbereichen bK. 

10 mK := nwr( aKv( b(vij))) o mK = mK( aKv( r{ bo(vij)))) 

= mA:(bK(vij) + bv(vij)) = mK( r{ 3Kv( bo(vij)))) 

= m/r(bK(vij)) - mK( r{ boK(vij))) 

Unter optimalen Aufnahmebedingungen tritt kein Rauschen auf, d.h. 
15 

r{bo) =/c/(bo) => b =r(bo) = /c/(bo) = bo 

Wird die Extraktion der klassenspezifischen Merkmalsdaten mK aus den Bildbereichen 
boK einer optimalen Abbildung bo durchgefuhrt, so liefert sie den optimalen Satz moKj 
20 der klassenspezifischen Merkmalsdaten des Verkehrszeichens vij. 

moKj := mK{ boK(vij)) 

(Der optimale Satz moKj der klassenspezifischen Merkmalsdaten eines Verkehrs- 
25 zeichens vij ist fur alle vij e Kj identisch. Es gilt mK{ boK(vij))= moKj V vij <= Kj ) 

Fur jede der n Klassen Kj von Verkehrszeichen vij wird der optimale Satz der klassen- 
spezifischen Merkmalsdaten moKj in der Speichereinheit 3 gespeichert. (AuBerdem 
gespeichert wird fur jede der n Klassen Kj eine vereinfachte Representation boKj der 
30 klassenspezifischen Merkmalsdaten moKj. Die vereinfachte Representation boKj ent- 
spricht den Bildbereichen boKj der optimalen Abbildung bo eines Verkehrszeichens 
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vij e Kj, welche die klassenspezifische Merkmalsdaten moKj enthalten, beide sind 
jedoch irn allgemeinen nicht identisch.) 

Ein von dem Bildsensor 1 aufgenommenes Abbild b(vij) eines Verkehrszeichens vij kann 
5 einer Klasse Kj von Verkehrszeichen eindeutig zugeordnet werden, wenn die Differenz 
zwischen den aus b(vij) ermittelten, realen, klassenspezifischen Merkmalsdaten itik und 
den in der Speichereinheit 3 gespeicherten, optimalen, klassenspezifischen Merkmals- 
daten moKj kleiner als ein klassenspezifischer, vorgegebener Toleranzwert 5, ist. 

10 3 moKj : | mK-moKj|<Sj => vij e Kj 



Wurde das von dem Bildsensor 1 aufgenommene Abbild b(vij) des Verkehrszeichens vij 
der Klasse Kj von Verkehrszeichen eindeutig zugeordnet, "so wird eine vereinfachte 
Darstellung b'(vij) erzeugt, in der Speichereinheit 3 gespeichert und auf der Anzeige- 
15 einheit 4 angezeigt. Fur die vereinfachte Darstellung b'(vij) werden aus dem Abbild 
b(vij) die Bildbereiche bK(vij) entfernt und durch die vereinfachte Representation b'oKj 
ersetzt. 

b'(vij) := b(vij) 0 bK(vij) © b oKj. 



20 

Die erfindungsgemaGe Vorrichtung und das erfindungsgemaBe Verfahren erweisen sich 
in der Ausfuhrungsform des vorstehend beschriebenen Beispiels als einfache, damit 
kostengunstige und somit besonders geeignete Erinnerungshilfe fur Fahrzeugfuhrer bei 
der Verkehrszeichenerkennung, insbesondere im StraBenverkehr. Besonders hohe Zu- 
25 verlassigkeit wird erreicht bei einer Beschrankung auf wenige Klassen von Verkehrs- 
zeichen, beispielsweise der Beschrankung auf die Verbotszeichen und die Warnzeichen. 

Die Erfindung ist nicht nur auf das zuvor geschilderte Ausfuhrungsbeispiel beschrankt, 
sondern vielmehr auf weitere ubertragbar. 

30 

Sinnvoll ist beispielsweise die Farbumkehr bei selbstleuchtenden Verkehszeichen wie 
sie insbesondere auf Autobahnen immer haufiger eingesetzt werden. Dabei ware z. B. 
der schwarze Hintergrund durch einen weiBen Hintergrund zu ersetzen. 
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AuBerdem ist es vorstellbar, bei der Uberprufung, ob ein als Verkehrszeichen vermute- 
tes Objekt mit hinreichender Wahrscheinlichkeit einer bestimmten Klasse von 
Verkehrszeichen zugeordnet werden kann, anstatt mehrere klassenspezifischer 
Toleranzwerte 5j nur einen einzigen einheitlichen Toleranzwert 5 zu verwenden. 

5 

Genauso ist aber auch denkbar anstatt eines Vergleichs von Merkmalswerten unter 
Berucksichtigung von einem Oder mehreren klassenspezifischen Toleranzwerten 5j eine 
Klassifikation mittels neuronaler Netze und einer Toleranzfunktion 5 zu verwenden, die 
direkt anhand des realen Abbildes des Verkehrszeichens eine Klassenzuordnung durch- 
10 fuhrt. 

Femer umfaBt die Erfindung auch eine feinere Unterteilung in Klassen und Unterklassen 
wie beispielsweise die Klasse der Verbotszeichen und deren Unterklasse der Geschwin- 
digkeitsbeschrankungen. 
15 

Des weiteren ist in Verbindung mit einem Navigationssystem eine erweiterte Entschei- 
dungslogik fur die Anzeigedauer eines erkannten Verkehrszeichen auf der Anzeige- 
einheit vorstellbar. So ist beispielsweise in der Bundesrepublik Deutschland eine 
Auffahrt - z.B. eine Autobahnauffahrt - gleichbedeutend mit einer impliziten Aufhebung 
20 von Ge- oder Verboten, beispielsweise Geschwindigkeitsbegrenzungen [3]. Eine der- 
artige Autobahnauffahrt laBt sich aber mittels Navigationssystem und digitaler StraBen- 
karte einfacher ermitteln als mittels eines Bilderkennungsverfahrens. Insofern ware es 
bei Anwendung eines Navigationssystems vorteilhaft, in die Entscheidungslogik bezug- 
lich der Anzeigedauer eines erkannten Verkehrszeichen zusatzlich eine Verbindung zum 
25 Navigationssystem aufzunehmen und abzufragen, ob derartige implizite Ge- oder Ver- 
botsanderungen - beispielsweise durch eine Autobahnauffahrt - am jeweils aktuellen 
Aufenthaltsort des Fahrzeuges vorliegen. Gegebenenfalls ware dann die Anzeigedauer 
des gerade angezeigten Verkehrszeichens zu beenden. 



30 



-23- 110 184 



Literatur 

[1] DE 36 19 824 C2 

[2] Janssen et al., „Hybrid Approach for Traffic Sign Recognition", 

Proc. Intelligent Vehicle Symposium, Tokio, Japan, pp. 390-395, 1993 

[3] „Hinweise fur das Anbringen von Verkehrszeichen und Verkehrseinrichtungen", 
Verkehrstechnischer Kommentar, 10. Auflage, 1995, Kirschbaum Verlag 
Abschnitt 4.2 „Wiederholung der Vorschriftzeichen, Zusatzschilder" 



-24- 



1 10 184 



Daimler-Benz Aktiengesellschaft Dr. Sr 

D-70546 Stuttgart 



Patentanspruche 

Vorrichtung zur Verkehrszeichenerkennung mit 

a) einem digitalen Bildsensor 

zur Aufnahme von Bildern, die potentiell Verkehrszeichen enthalten, 

b) einer Informationsverarbeitungseinheit 

zur Analyse der von dem Bildsensor gelieferten Bilder in Echtzeit, 

c) einer Speichereinheit, 

d) einer Anzeigeeinheit, 
bei der 



15 e) die Informationsverarbeitungseinheit ermittelt, 
ob ein Bild ein oder mehrere Objekte enthalt, 
welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 

dadurch gekennzeichnet, daB 
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f) die Speichereinheit einen vorgegebenen Klassifikator enthalt, 
der schwankungstolerant generiert wird 
aus einer reprasentativen Stichprobe von 
klassenspezifischen Merkmalsdaten, 
5 - die jeweiis alien Elementen einer bestimmten Klasse von 

Verkehrszeichen gemeinsam sind, 
- die zur eindeutigen Identifizierung dieser Klasse ausreichen, 



g) die Speichereinheit vereinfachte Reprasentationen dieser 
10 klassenspezifischen Merkmalsdaten enthalt, 



15 



h) die Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert, 

i) die Informationsverarbeitungseinheit 
die extrahierten realen Merkmalsdaten 
mittels des Klassifikators klassifiziert, 



die Informationsverarbeitungseinheit 
anhand dieser Klassifikation eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 
zu einer Klasse von Verkehrszeichen durchfiihrt, 

die Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert 
in einen Oder mehrere Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, und 
30 - in einen oder mehrere Bildbereiche, 

die zeichenspezifische Merkmalsdaten enthalten, 



20 j) 



25 k) 
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10 



i) die Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darsteilung reduziert, indem sie 
die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 

und die geloschten Bildbereiche ersetzt 

durch die vereinfachte Representation 

der klassenspezifischen Merkmalsdaten 

der dem Verkehrszeichen zugeordneten Klasse, 

m) die Speichereinheit die vereinfachte Darsteilung 

des als Verkehrszeichen erkannten Objektes speichert, 



n) die Anzeigeeinheit die vereinfachte Darsteilung 
15 des als Verkehrszeichen erkannten Objektes anzeigt. 



2. Vorrichtung nach Anspruch 1, 
20 dadurch gekennzeichnet, daB 



f ) die Speichereinheit einen Klassifikator enthalt, 

der vorgegebene, klassenspezifische Merkmalsdaten 
mit zu extrahierenden realen Merkmalsdaten vergleicht, 
25 unter Berucksichtung eines Oder mehrerer Toleranzwerte, 

g') die Speichereinheit vereinfachte Reprasentationen dieser 
klassenspezifischen Merkmalsdaten enthalt, 

30 h') die Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert, 
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die Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten 

mit den in der Speichereinheit vorgegebenen, 

klassenspezifischen Merkmalsdaten vergleicht, 

die Informationsverarbeitungseinheit 
anhand dieses Vergleichs eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 
zu einer Klasse von Verkehrszeichen durchfuhrt, 

die Informationsverarbeitungseinheit die Bilddaten 

von dem als Verkehrszeichen erkannten Objekt 

in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert 

in einen oder mehrere Bildbereiche, 

die klassenspezifische Merkmalsdaten enthalten, und 

in einen oder mehrere Bildbereiche, 

die zeichenspezifische Merkmalsdaten enthalten, 

die Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darstellung reduziert, indem sie 
die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 

und die geloschten Bildbereiche ersetzt 

durch die vereinfachte Representation 

der klassenspezifischen Merkmalsdaten 

der dem Verkehrszeichen zugeordneten Klasse, 

die Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes speichert, 

die Anzeigeeinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes anzeigt. 
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3. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, d a (3 

f") die Speichereinheit fur jede Klasse (Kj) von Verkehrszeichen (vij) 
5 einen Satz (moKj) optimaler, klassenspezifischer Merkmalsdaten enthalt, 

der jeweils fur alle Elemente (vij) einer bestimmten Klasse (Kj) von 
Verkehrszeichen gleich ist, 

der zur eindeutigen Identifizierung dieser Klasse (Kj) ausreicht, 
dem ein vorzugsweise klassenspezifischer Toleranzwert (5j) 
10 zugeordnet ist, 



g") die Speichereinheit fur jede Klasse (Kj) von Verkehrszeichen (vij) 

vereinfachte Reprasentationen (b oKj) der optimalen, klassenspezifischen 
Merkmalsdaten (moKj) enthalt, 

15 

h") die Informationsverarbeitungseinheit aus der Abbildung (b) 
von einem als Verkehrszeichen (vij) erkannten Objekt (o) 
einen Satz realer Merkmalsdaten (mK) extrahiert, 



20 i") die Informationsverarbeitungseinheit 

den extrahierten Satz realer Merkmalsdaten (mK) 
nacheinander vergleicht mit jeweils einem Satz 
von alien in der Speichereinheit gespeicherten Satzen 
optimaler, klassenspezifischer Merkmalsdaten (moKj), 
25 

j") die Informationsverarbeitungseinheit anhand dieses Vergleichs, 
unter Beriicksichtigung des gespeicherten Toleranzwertes (Sj), 
eine Zuordnung des als Verkehrszeichen (vij) erkannten Objektes (o) 
zu einer Klasse (Kj) durchfiihrt, 



30 
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die Informationsverarbeitungseinheit die Abbildung (b) 
von dem als Verkehrszeichen (vij) erkannten Objekt (o) 
in einer fur die zugeordnete Klasse (Kj) spezifischen Art aufteilt 
in einen oder mehrere Bildbereiche (bK), 
die klassenspezifische Merkmalsdaten enthalten, und 
in einen oder mehrere Bildbereiche (bv), 
die zeichenspezifische Merkmalsdaten enthalten, 

die Informationsverarbeitungseinheit die Abbildung (b) 
von dem als Verkehrszeichen (vij) erkannten Objekt (o) 
auf eine vereinfachte Darstellung (b*) reduziert, indem sie 
die Bildbereiche (bK) loscht, 
die klassenspezifische Merkmalsdaten enthalten, 
und die geloschten Bildbereiche (bK) ersetzt 
durch die vereinfachte Representation (b oKj) 
der optimalen, klassenspezifischen Merkmalsdaten (moKj) 
der dem Verkehrszeichen (vij) zugeordneten Klasse (Kj), 

die Speichereinheit die vereinfachte Darstellung (b*) 

des als Verkehrszeichen (vij) erkannten Objektes (o) speichert, 

die Anzeigeeinheit die vereinfachte Darstellung (b') 

des als Verkehrszeichen (vij) erkannten Objektes (o) anzeigt. 
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Vorrichtung nach einem der vorhergehenden Anspruche, 
durch g e k e n n z e i c h n e t , d a (5 

in der Speichereinheit ein Programm gespeichert ist 
zur Anwendung einer Entscheidungslogik 
mittels derer die Informationsverarbeitungseinheit 
die Anzeigeeinheit derart steuert, dali sie 

die vereinfachte Darstellung eines als Verkehrszeichen erkannten Objektes 

solange anzeigt, 

bis ein neues Objekt als Verkehrszeichen erkannt wird, 
vorzugsweise als Verkehrszeichen der gleichen Oder 
einer korrespondierenden Klasse erkannt wird, 

und dessen vereinfachte Darstellung die vorherige ersetzt. 

Vorrichtung nach einem der vorhergehenden Anspruche, 
durch g e k e n n z e i c h n e t , daB 

die Anzeigeeinheit zusatzlich eine Einstelleinheit enthalt, 

mittels welcher die maximale Anzeigedauer der vereinfachten 

Darstellung eines als Verkehrszeichen erkannten Objektes eingestellt wird. 

Vorrichtung nach einem der vorhergehenden Anspruche, 
durch g e k e n n z e i c h n e t , d a 15 

in der Speichereinheit ein Programm gespeichert ist, 
zur Ermittlung der zuruckgelegten Wegstrecke 
zwischen der aktuellen Fahrzeugposition 
und der Position des zuletzt erkannten Verkehrszeichens 
einer bestimmten Verkehrszeichenklasse, 
mittels dem die Informationsverarbeitungseinheit 
die zuruckgelegten Wegstrecke ermittelt, 

aus den Daten des Tachometers des Fahrzeuges, 

welche vorzugsweise uber einen Fahrzeugdatenbus 

von dem Tachometer zu der Informationsverarbeitungseinheit 
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ubermittelt werden, 
und den Daten eines Zeitgebers, 

vorzugsweise eines internen Zeitgebers 
der Informationsverarbeitungseinheit, 
sowie in der Speichereinheit ein Programm gespeichert ist 
zur Anwendung einer Entscheidungslogik 
mittels derer die Informationsverarbeitungseinheit 
die Anzeigeeinheit derart steuert, dafi sie 

die vereinfachte Darstellung eines als Verkehrszeichen erkannten Objektes 
solange anzeigt, 

bis eine in der Speichereinheit vorgegebene Wegstrecke zuruckgelegt ist, 

welche vorzugsweise klassenspezifisch ist, 
Oder 

bis ein neues Objekt als Verkehrszeichen erkannt wird, 
vorzugsweise als Verkehrszeichen der gleichen oder 
einer korrespondierenden Klasse erkannt wird, 

und dessen vereinfachte Darstellung die vorherige ersetzt. 



7. Vorrichtung nach einem der vorhergehenden Anspruche, 

dadurch gekennzeichnet, d a (3 

die Anzeigeeinheit zusatzlich einen akustischen Signalgeber enthalt, 
welcher, sobald ein Objekt als Verkehrszeichen erkannt wurde, 
ein vorzugsweise klassenspezifisches, akustisches Signal ausgibt. 



8. Vorrichtung nach einem der vorhergehenden Anspruche, 

dadurch gekennzeichnet, daB 

der digitale Bildsensor eine oder mehrere, vorzugsweise monochrome, 
Digitalkameras enthalt, die derart angeordnet sind, daS ihr gemeinsames 
Blickfeld ausreicht, um alle fur den Fahrweg eines Fahrzeuges relevanten 
Verkehrszeichen unabhangig von der horizontalen und/oder vertikalen 
Krummung des Fahrweges zu erfassen. 
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9. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, d a (5 

sie zusatzlich eine Positionsbestimmungseinheit enthalt, und 

die Speichereinheit zusatzlich zu der vereinfachten Darstellung 
5 eines als Verkehrszeichen erkannten Objektes 

jeweils auch dessen Position speichert. 



10 



10. Verfahren zur Verkehrszeichenerkennung bei dem 

a) mittels eines digitalen Bildsensors Bilder aufgenommen werden, 
die potentiell Verkehrszeichen enthalten, 



b) mittels einer Informationsverarbeitungseinheit 
15 die von dem Bildsensor gelieferten Bilder 

in Echtzeit derart analysiert werden, da(3 

c) die Informationsverarbeitungseinheit ermittelt, 
ob ein Bild ein oder mehrere Objekte enthalt, 

20 welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 



dadurch gekennzeichnet. daB 

d) mittels der Informationsverarbeitungseinheit aus den Bilddaten 
von einem als Verkehrszeichen erkannten Objekt 
reale Merkmalsdaten extrahiert werden, 



e) mittels der Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten klassifiziert werden 
durch einen in einer Speichereinheit vorgegebenen Klassifikator 
30, - der schwankungstolerant generiert wird 

aus einer reprasentativen Stichprobe von 
klassenspezifischen Merkmalsdaten, 
- die jeweils alien Elementen einer bestimmten Klasse von 
Verkehrszeichen gemeinsam sind, 
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- die zur eindeutigen Identifizierung dieser Klasse ausreichen, 



f) mittels der Informationsverarbeitungseinheit 
anhand dieser Klassifikation eine Zuordnung 
5 des als Verkehrszeichen erkannten Objektes 

zu einer Klasse von Verkehrszeichen durchgefuhrt wird, 



g) mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
10 in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert werden 

in einen oder mehrere Bildbereiche, 
die klassenspezifische Merkmalsdaten enthalten, und 
in einen oder mehrere Bildbereiche, 
die zeichenspezifische Merkmalsdaten enthalten, 



15 

h) mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darstellung reduziert werden, indem sie 
die Bildbereiche loscht, 
20 die klassenspezifische Merkmalsdaten enthalten, 



und die geloschten Bildbereiche ersetzt 
durch eine vereinfachte Representation 
der klassenspezifischen Merkmalsdaten 
25 der dem Verkehrszeichen zugeordneten Klasse, 

wobei die vereinfachten Reprasentationen 
der verschiedenen moglichen Klassen 
in der Speichereinheit vorgegeben sind, 



30 i) in der Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes gespeichert wird, 
j) auf einer Anzeigeeinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes angezeigt wird. 
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11. Verfahren nach Anspruch 10, 
dadurch gekennzeichnet, d a f5 



d') mittels der Informationsverarbeitungseinheit aus den Bilddaten 
5 von einem als Verkehrszeichen erkannten Objekt 

reale Merkmalsdaten extrahiert werden, 



e') mittels der Informationsverarbeitungseinheit 

die extrahierten realen Merkmalsdaten klassifiziert werden, 
10 indem sie die extrahierten realen Merkmalsdaten vergleicht 

mit in einer Speichereinheit vorgegebenen, klassenspezifischen Merkmalsdaten 
die jeweils alien Elementen einer bestimmten Klasse von 
Verkehrszeichen gemeinsam sind, 

die zur eindeutigen Identifizierung dieser Klasse ausreichen, 
1 5 unter Beriicksichtigung eines Oder mehrerer Toleranzwerte, 



P) mittels der Informationsverarbeitungseinheit 
anhand dieses Vergleichs eine Zuordnung 
des als Verkehrszeichen erkannten Objektes 
20 zu einer Klasse von Verkehrszeichen durchgefuhrt wird, 



g') mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 

in einer fur die zugeordnete Klasse spezifischen Aufteilung separiert werden 
25 in einen oder mehrere Bildbereiche, 

die klassenspezifische Merkmalsdaten enthalten, und 

in einen oder mehrere Bildbereiche, 

die zeichenspezifische Merkmalsdaten enthalten, 

30 h') mittels der Informationsverarbeitungseinheit die Bilddaten 
von dem als Verkehrszeichen erkannten Objekt 
auf eine vereinfachte Darstellung reduziert werden, 
indem sie 
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die Bildbereiche loscht, 

die klassenspezifische Merkmalsdaten enthalten, 
und die geloschten Bildbereiche ersetzt 
durch eine vereinfachte Representation 
5 der klassenspezifischen Merkmalsdaten 

der dem Verkehrszeichen zugeordneten Klasse, 
wobei die vereinfachten Reprasentationen 
der verschiedenen moglichen Klassen 
in der Speichereinheit vorgegeben sind, 

10 

V) in der Speichereinheit die vereinfachte Darstellung 

des als Verkehrszeichen erkannten Objektes gespeichert wird, 



j') auf einer Anzeigeeinheit die vereinfachte Darstellung 
1 5 des als Verkehrszeichen erkannten Objektes angezeigt wird. 

12. Verfahren nach Anspruch 1 1, 
dadurch gekennzeichnet, daB 

20 

d") mittels der Informationsverarbeitungseinheit aus der Abbildung (b) 
von einem als Verkehrszeichen (vij) erkannten Objekt (o) 
einen Satz realer, klassenspezifischer Merkmalsdaten (mic) extrahiert wird, 

25 e") mittels der Informationsverarbeitungseinheit 

der extrahierte Satz realer, klassenspezifischer Merkmalsdaten (mK) 
nacheinander verglichen wird mit jeweils einem Satz 
von alien in einer Speichereinheit gespeicherten Satzen 
optimaler, klassenspezifischer Merkmalsdaten (moKj), 
30. - der jeweils fur alle Elemente (vij) einer bestimmten Klasse (Kj) 

von Verkehrszeichen gleich ist, 

der zur eindeutigen Identifizierung dieser Klasse (Kj) ausreicht, 
dem ein vorzugsweise klassenspezifischer Toleranzwert (5j) 
zugeordnet ist, 
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f ') mittels der Informationsverarbeitungseinheit anhand dieses Vergleichs, 
unter Berucksichtigung des gespeicherten Toleranzwertes (Sj), 
eine Zuordnung des als Verkehrszeichen (vij) erkannten Objektes (o) 
zu einer Klasse (Kj) durchgefuhrt wird, 

g") mittels der Informationsverarbeitungseinheit die Abbildung (b) 
von dem als Verkehrszeichen (vij) erkannten Objekt (o) 
in einer fur die zugeordnete Klasse (Kj) spezifischen Art aufgeteilt wird 
10 - in einen oder mehrere Bildbereiche (bK), 

die klassenspezifische Merkmalsdaten enthalten, und 
in einen oder mehrere Bildbereiche (bv), 
die zeichenspezifische Merkmalsdaten enthalten, 




15 h") mittels der Informationsverarbeitungseinheit die Abbildung (b) 
von dem als Verkehrszeichen (vij) erkannten Objekt (o) 
auf eine vereinfachte Darstellung (b*) reduziert wird, indem sie 
die Bildbereiche (bK) loscht, 
die klassenspezifische Merkmalsdaten enthalten, 
20 - und die geloschten Bildbereiche (bK) ersetzt 

durch eine vereinfachte Representation (b'oKj) 
der optimalen, klassenspezifischen Merkmalsdaten (moKj) 
der dem Verkehrszeichen (vij) zugeordneten Klasse (Kj), 
wobei die vereinfachten Reprasentationen (b'oKj) 
der verschiedenen moglichen Klassen (Kj) 
in der Speichereinheit vorgegeben sind, 

i") in der Speichereinheit die vereinfachte Darstellung (b*) 

des als Verkehrszeichen (vij) erkannten Objektes (o) gespeichert wird, 



30 



j") auf einer Anzeigeeinheit die vereinfachte Darstellung (b') 

des als Verkehrszeichen (vij) erkannten Objektes (o) angezeigt wird. 



-37- 110 184 



13. Verfahren nach einem der vorhergehenden Anspruche 10 bis 12, 
dadurch gekennzeichnet, d a (5 

der Verfahrensabschnitt, 

in dem die Informationsverarbeitungseinheit ermittelt, 
5 ob ein Bild ein oder mehrere Objekte enthalt, 

welche mit hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 
derart gestaltet ist, daS 

in einem ersten Verfahrensschritt Bildbereiche ermittelt werden, 
vorzugsweise anhand von Farbwerten und/oder raumlichen Positionen, 
10 welche mit uberdurchschnittlicher Wahrscheinlichkeit Verkehrszeichen 

enthalten, 

in einem zweiten Verfahrensschritt in diesen Bildbereichen 
mittels geometrischer Analyse, vorzugsweise mittels Korrelationsverfahren, 
Objekte ermittelt werden, 
15 welche eine vorgegebene, vorzugsweise runde oder dreieckige, Form besitzen. 

14. Verfahren nach einem der vorhergehenden Anspruche 10 bis 13, 
dadurch gekennzeichnet, d a (3 

aus einer Abfolge von Bildern, 
20 die wahrend der Vorbeibewegung des Fahrzeugs 

an einem als Verkehrszeichen erkannten Objekt 
aufgenommen werden, 
jeweils das beste Bild ausgewahlt wird, 

wobei die Auswahl anhand definierter Qualitatskriterien durchgefuhrt wird, 
25 vorzugsweise anhand von 

GroBe und/oder 
Kontrast und/oder 
Helligkeit 

des als Verkehrszeichen erkannten Objektes, 
30 - und nur die aus diesem bestem Bild generierte vereinfachte Darstellung 
des als Verkehrszeichen erkannten Objektes 
in der Speichereinheit gespeichert wird 
und auf der Anzeigeeinheit angezeigt wird. 



ft 
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15. Verfahren nach einem der vorhergehenden Anspruche 10 bis 14, 
dadurch gekennzeichnet, d a (J 

die Bildbereiche, die zeichenspezifische Merkmalsdaten enthalten, 
5 eines als Verkehrszeichen erkannten Objektes, 

bevor sie auf der Anzeigeeinheit angezeigt werden, 
fur einen Fahrzeugfuhrer aufbereitet werden, 
hinsichtlich einer besseren Erkennbarkeit, 
derart, daB sie 
10 - groBennormiert werden und/oder 

kontrastnormiert werden und/oder 
helligkeitsnormiert werden und/oder 
Farbtonnormiert werden. 

15 

16. Verfahren nach einem der vorhergehenden Anspruche 10 bis 15, 
dadurch gekennzeichnet, daB 

zusatzlich die Position eines als Verkehrszeichen erkannten Objektes 
mittels einer Positionsbestimmungseinheit bestimmt wird, und 
20 - in der Speichereinheit zusatzlich zu der vereinfachten Darstellung 
des als Verkehrszeichen erkannten Objektes 
jeweils auch dessen Position gespeichert wird. 

25 



30 
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Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 8 
als Erinnerungshilfe fur den Fuhrer eines Fahrzeuges, 
vorzugsweise fur den Einsatz im StraBenverkehr. 



Verwendung eines Verfahrens nach einem der Anspruche 10 bis 15 
fur den Betrieb einer Erinnerungshilfe fur den Fuhrer eines Fahrzeuges, 
vorzugsweise fur den Einsatz im StraBenverkehr. 



Verwendung einer Vorrichtung nach Anspruch 9 
zur Inspektion von Verkehrswegen, 
vorzugsweise fur den Einsatz im StraBenverkehr. 



Verwendung eines Verfahrens nach Anspruch 16 
zur Inspektion von Verkehrswegen, 
vorzugsweise fur den Einsatz im StraBenverkehr. 
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Zusammenfassung der Erfindung 

Vorrichtung und Verfahren zur Verkehrszeichenerkennung 

Der Verkehr auf StraBen, Schienenwegen, WasserstraBen und Rollfeldern wird durch 
Verkehrszeichen geregelt. Die durch ein Verkehrszeichen referenzierte Verkehrsregel 
hat haufig einen raumlichen Gultigkeitsbereich, der sich uber Abschnitte des Fahrweges 
erstreckt, von denen aus der Fahrzeugfuhrer das Verkehrszeichen nicht einsehen kann. 
Fur den Fahrzeugfuhrer ist demnach eine Erinnerungshilfe sehr vorteilhaft, die ihm auch 
Informationen uber den Aussagegehalt von Verkehrszeichen liefert (zu welcher Regel- 
befolgung wird aufgefordert), an denen er bereits vor langerer Zeit vorbeigefahren ist. 

Herkommliche Vorrichtungen und Verfahren zur Verkehrszeichenerkennung versuchen, 
den Aussagegehalt eines Verkehrszeichens vollstandig zu extrahieren. Der Nachteil 
einer solchen Zielsetzung besteht in der hohen Ruckweisungsquote nicht erkannter 
Verkehrszeichen und in ihren hohen Kosten. Die tatsachliche Erkennung eines 
bestimmten Verkehrszeichens, d.h. die Extraktion seines vollstandigen Aussage- 
gehaltes, mit ausreichend hoher Wahrscheinlichkeit erfordert Bilder mit einer moglichst 
hohen Auflosung. Die Auswertung solcher Bilder in Echtzeit erfordert eine sehr hohe 
Rechenleistung. Derart leistungsstarke Bildsensoren und Informationsverarbeitungs- 
einheiten sind teuer. Und selbst mit ihnen liegt die Ruckweisungsquote gangiger 
Verkehrszeichenerkennungssysteme in der GroBenordnung von einigen Prozenten. 
Diese Nachteile sollen minimiert werden. 

Die Aufgabe wird gelost, indem nur noch der notwendige und sinnvolle Anteil des 
Aussagegehaltes eines Verkehrszeichens extrahiert wird. Dies ist im wesentlichen die 
Klasse des Verkehrszeichen, beispielsweise die Klasse der Verbots- oder Warnzeichen. 
Ist dadurch ein Objekt erst einmal als ein Verkehrszeichen einer bestimmten Klasse 
erkannt worden, so kann die folgende Aufgabe der Erkennung des zeichenspezifischen 
Aussagegehaltes dem Fahrzeugfuhrer uberlassen werden, der dazu mit hoherer Ge- 
schwindigkeit und Zuverlassigkeit als ein Erkennungssystem in der Lage ist. Hierzu wird 
ihm eine vereinfachte Representation des Verkehrszeichens angezeigt, die vereinfachte 
Merkmale der erkannten Klasse aufweist und den realen von einem Bildsensor auf- 
genommenen Bildausschnitt, der die zeichenspezifischen Merkmale enthalt. 
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